Die NeurIPS (Conference on Neural Information Processing Systems) ist eine der weltweit führenden Konferenzen im Bereich maschinelles Lernen und Künstliche Intelligenz (KI). Sie bringt jährlich Wissenschaftlerinnen, Ingenieurinnen und Praktiker*innen zusammen, um die neuesten Entwicklungen in Forschung und Anwendung zu präsentieren. Der erfolgreiche Beitrag des Teams des Departments IT der FH Salzburg in Zusammenarbeit mit der Universität Salzburg zeigt, wie international kompetitiv und innovativ Forschung aus der Region sein kann.
Im Zentrum des Projekts steht das Konzept der Neural Persistence Dynamics. Während das Projekt von Roland Kwitt (Universität Salzburg) und Stefan Huber (FH Salzburg) initiiert wurde, waren vor allem Sebastian Zeng (FH Salzburg) , Florian Graf (Universität Salzburg) und Martin Uray (FH Salzburg) als Hauptakteure maßgeblich an der Umsetzung und Ausarbeitung beteiligt. Ihr herausragender Forschungsbeitrag stieß auf großes Interesse und führte zu zahlreichen spannenden Gesprächen sowie neuen Kontakten.
Einblicke in die Forschungskooperation – Ein Interview mit Stefan Huber und Roland Kwitt
Wie ist die Zusammenarbeit für dieses Forschungsprojekt zwischen der PLUS und der FH Salzburg entstanden?
Huber: Roland und ich kennen uns schon sehr lange und kommen eigentlich aus unterschiedlichen Disziplinen. Während Roland von Beginn an im Bereich Machine Learning tätig war, kam ich von der algorithmischen Geometrie und Topologie zur topologischen Datenanalyse. Diese Zusammenarbeit basiert auf einer empirischen Hypothese: Daten haben Form, sie besitzen geometrisch-topologische Strukturen, und die Nutzbarmachung dieser schafft einen klaren Vorteil in der Datenanalyse und im maschinellen Lernen.
Was hat euch dazu motiviert, sich mit dem Thema Neural Persistence Dynamics zu beschäftigen, und welche Probleme oder Herausforderungen wollt ihr damit speziell lösen?
Kwitt: Dynamische Systeme finden sich überall – in der Biologie, Physik oder technischen Systemen. Typischerweise liegt der Fokus auf der Simulation solcher Systeme, doch unser Ansatz geht einen Schritt weiter: Wir wollen aus Beobachtungen dynamischer Punktwolken (z.B. Vogelschwärme, Partikelsysteme oder Zellbewegungen) Rückschlüsse auf die zugrundeliegenden Gesetze ziehen. Dabei spielen geometrisch-topologische Strukturen eine zentrale Rolle. Die Herausforderung liegt darin, diese Strukturen nutzbar zu machen.
Warum ist diese Arbeit für den Bereich der KI so relevant?
Huber: Vorgänge in Natur und Technik werden mathematisch durch dynamische Systeme beschrieben, deren Verhalten durch Differentialgleichungen modelliert wird. Wenn wir KI in diesen Bereichen einsetzen wollen, ist es entscheidend, KI-Methoden zu entwickeln, die dynamische Systeme erfassen können. Das macht unsere Arbeit für die Weiterentwicklung der KI so bedeutend.
Welche Innovationen oder neuen Ansätze wurden in der Forschungsarbeit eingesetzt, die bisherige Methoden ergänzen oder verbessern?
Kwitt: Die Idee, topologische Datenanalyse, insbesondere persistente Homologie, auf dynamische Systeme anzuwenden, existiert bereits. Jedoch sind bestehende Ansätze oft rein theoretisch, schlecht skalierbar oder nicht kompatibel mit modernen Methoden des maschinellen Lernens. Unser Beitrag war, bereits etablierte Verfahren meiner Arbeitsgruppe zur persistenten Homologie mit aktuellen Ansätzen zur Modellierung dynamischer Prozesse (wie Neural ODEs) zu kombinieren und eine theoretisch fundierte Verbindung zu schaffen.
Wie kann euer Ansatz praktisch genutzt werden – sei es in der Industrie, in der Medizin oder anderen Anwendungsbereichen? Welche langfristigen Auswirkungen könnte die Arbeit haben?
Huber: Ein gutes Beispiel findet sich im JR Zentrum für intelligente und sichere Industrieautomatisierung: Wir entwickeln KI-Methoden für die Anomalieerkennung in Industriemaschinen. Wenn man ein technisches System als dynamisches System auffasst, das von Parametern wie dem Reibkoeffizienten eines Antriebs bestimmt wird, können unsere Methoden aus Beobachtungen Rückschlüsse auf solche Parameter ziehen. Eine Abweichung wäre ein klarer Hinweis auf eine Anomalie.
Diese Anwendung zeigt auch die Stärke der Kooperation: Während in der Gruppe von Roland an der Universität Salzburg grundlegende Forschung betrieben wird, können wir an der FH Salzburg diese Ansätze in der anwendungsorientierten Forschung nutzbar machen.
Welche weiteren Schritte oder Forschungsfragen seht ihr basierend auf diesen Ergebnissen? Gibt es spannende Anschlussprojekte?
Kwitt:Unsere Zusammenarbeit ist erst der Startpunkt. Wir sehen großes Potenzial an der Schnittstelle von maschinellem Lernen und topologischer Datenanalyse. Ein besonders spannender Bereich ist die Nutzung stochastischer Differentialgleichungen zur Modellierung zeitabhängiger Größen. Für Anomalieerkennung wäre dies ein großer Fortschritt.
Für mich persönlich schließt sich hier ein Kreis: Meine Diplomarbeit an der FH Salzburg 2005 beschäftigte sich ebenfalls mit Anomalieerkennung – und heute, fast 20 Jahre später, haben wir die Möglichkeit, diese Fragestellung mit modernsten Methoden erneut anzugehen.
Huber: Im JRZ ISIA haben wir ein einzigartiges Testbed, das eine komplette Produktionsstraße abbildet. Hier erfassen wir umfangreiche multivariate Zeitreihen, die es in dieser Form bislang nicht gibt. Dieses Datenmaterial bietet uns die Möglichkeit, die entwickelten Ansätze weiter auszubauen und zu optimieren.
Fazit
Die Teilnahme an der NeurIPS zeigt eindrucksvoll, dass die Kooperation zwischen der FH Salzburg und der Universität Salzburg wissenschaftliche Ergebnisse hervorbringt, die international Anerkennung finden. Das Forschungsprojekt Neural Persistence Dynamics ist ein Beispiel dafür, wie grundlegende Forschung und angewandte Wissenschaft Hand in Hand gehen können. Viele neue Kontakte und Ideen, die während der Konferenz entstanden sind, bilden die Basis für zukünftige Forschungsprojekte und Kooperationen.
Ein großer Dank gilt allen Beteiligten: Stefan Huber, Roland Kwitt, Florian Graf, Sebastian Zeng und Martin Uray.